/**
 * 此示例使用模块Sitemap提供的实用程序类从站点地图下载并爬网 URL @crawlee/utils。
 */
import { PlaywrightCrawler, Sitemap } from 'crawlee';

const crawler = new PlaywrightCrawler({
    // 为每个 URL 调用的函数
    async requestHandler({ request, log }) {
        log.info(request.url);
    },
    maxRequestsPerCrawl: 10, // 仅限 10 个请求（如果要抓取所有链接请勿使用）
});

const { urls } = await Sitemap.load('https://crawlee.dev/sitemap.xml');

await crawler.addRequests(urls);

// 运行爬虫
await crawler.run();
